Cơ cấu tổ chức của IOC gồm một Đại hội đồng (Assembly), Hội đồng chấp hành (Executive Council), Ban Thư ký (Secretariat') và các cơ quan phụ trợ (Subsidiary bodies). Cơ quan này có quyền tự quyết về chương trình hoạt động, tổ chức bộ máy chỉ đạo, điều hành, tự tạo kinh phí hoạt động... mà không phụ thuộc vào UNESCO.[3] Ban Thư ký đóng tại trụ sở UNESCO ở quận 15, Paris.[4]